读《数据中台架构：企业数据化最佳实践》：感受数据中台建设五步法

一、前言

这是早在今年上半年就读完的一本书，一些体会也发在了博客上，今天有时间也分享给大家，对数据中台感兴趣的同学可以看过来~

数据中台可以说是当下非常火热的话题，在BATJ等互联网大厂大肆推广中台建设成果的当下，各个行业的企业似乎都想做数字化转型，建设业务中台，但是中台到底是啥，需要我们提前了解和学习。本文是我学习张旭老师《数据中台架构：企业数据化最佳实践》一书的总结，阅读之后初步地了解所谓的中台战略，但又还是停留在感性层次，有点浅尝辄止之感。

当前的数据中台定义是宽泛的，这与数据中台目前所处的实际业务阶段相符合。书中作者张旭老师认为数据中台至少首先是一个分布式的数据仓库，同时包含相对应实施的方法论和方案，介于分布式数据仓库和企业全面数据化中间的任意一个点都可以被定义为数据中台。

可以说，数据中台是实现企业全面数据化的一个解决方案，是一套支撑企业全面数据化的架构，会成为企业开展全面数据化的基础设施。

但数据中台这个东西，现在业界并没有一个完整的标准定义，每个人的经验和视角也不同，因此可能一百个学习者心中会有一百个中台，这里我主要结合我关于数据中台的学习做个总结：

「（1）中台是什么？」

「企业级能力复用平台！」

「（2）如何构建中台？」

一句话概括：“「以用户为中心，从战略入手，愿景为指引，用科学有效的方法，步步为营沉淀企业级能力，辅以必要的组织与系统架构调整，方得中台。」”

「（3）中台的价值是啥？」

中台为前台而生，专注于为前台赋能，沉淀企业的能力与复用，提升企业的客户响应力。

「（4）如何成为数据中台的参与者？」

数据中台围绕数据技术开展。除了编程技术、应用开发技术与传统的IT应用技术具有部分的重合，数据中台还有自己的技术体系，比如大数据开发技术、数据仓库建模技术、数据分析体系、数据应用技术体系等。

二、中台的发展历程

了解一个东西，需要首先了解它的发展史，又或者说看看它的过去，这里我们就先看看中台的发展历程：

• 「2008~2015：孕育期」

• 2008年阿里巴巴开始战略调整，重复建设与烟囱架构问题出现

• 阿里共享事业部诞生，前台系统中的公共部分开始平台化改造

• 「2015：中台战略诞生」

• 马云带领阿里高官走访芬兰游戏公司Supercell受到触动

• 阿里巴巴正式启动中台战略“大中台、小前台”

• 「2017：横空出世」

• 互联网大厂集体发声，各自分享中台建设经验

• 「2018：全面爆发」

• 互联网大厂集体宣布组织架构调整，正式将中台推上舞台

• 「2019：迷雾仍存」

• 中台的热度越发高涨，跟进企业越来越多，但问题不降反增

从2015年阿里提出了“大中台，小前台”的中台战略，提出之初阿里有近 4 亿用户，为超过 1000万各类企业提供服务，业务种类繁多，业务之间相互网状依赖。同时，阿里部门也越来越多，分工越来越细，沟通过多，相互依赖，创新成本非常高，对业务响应也越来越慢。

阿里需要找到能够对外界变化快速反应，整合阿里各种基础能力，高效支撑业务创新的机制，于是“中台”的概念就出现了。

如今，不管是身处浪潮一线的互联网大厂，还是传统行业的转型企业，似乎在2020年都有建设一个中台的需求（至少都在采取行动或开始学习），不管真的想进行能力沉淀复用 还是 追概念来个弯道超车，中台正在被越来越多的人熟知。

三、数据中台实践

❝

以下是我阅读《数据中台架构：企业数据化最佳实践》一书的小笔记

❞

3.1 第一步：数据资源的盘点与规划

数据化的基础是信息化或者信息化所产生的数据。这些数据本就有数据化的含义，同时这些数据又会进入数据化框架体系，继续通过计算产出更多的数据和更大的价值。所以，对企业数据资源的盘点是数据化建设的前提和基础。一份完整、准确的数据资源是后续数据化建设的有力保障。

数据资源的盘点与规划需要达到以下目的：

（1）对现有数据资源盘点和统计。

（2）对企业可以拥有或者应该拥有的数据资源进行规划。

（3）构建盘点体系并使用必要工具，保证盘点的成果能够始终与真实情况相符。

3.2 第二步：数据应用规划与设计

企业要基于现有的技术条件和方案，进行相对完整的数据应用规划。这个步骤可以回答如下问题。

「企业中有哪些数据需求」

我们要从业务线、业务层级到最细粒度的岗位，梳理数据需求。

「企业应该构建哪些数据应用」

我们要围绕数据需求进行数据应用的整体规划和设计。

「应该按照什么顺序实现这些数据应用」

我们要对数据应用建立评估模型，评估的维度包括数据应用是否可以实现、数据应用的业务价值、数据应用的实现成本这三个主要方面。通过评定结果，我们可以确定数据应用的实现路径。

3.3 第三步：数据资产建设

数据资产的建设要依托数据中台的核心产品完成。数据资产是企业数据化建设的关键基础。所有的数据化建设最后都以数据资产为基础，并且围绕这个基础展开。数据资产将是企业在全面数据化建设前期中投入最多、见效最慢的基础层模块。关于数据中台的种种探讨和争议以及妥协的很大一部分原因是这个基础建设庞大、复杂和投入高。

数据资产建设的内容包括以下几个方面：

「技术建设」

（1）产品选型。产品选型包括如何选择数据中台产品、数据中台产品应该具备的功能以及技术参数指标。

（2）技术架构设计。技术架构设计包括数据中台产品如何部署、如何替换传统的数据仓库或者与之并行、数据中台如何抽取当前的应用数据。

「标准和数据仓库模型构建」

（1）建模及开发规范。建模及开发规范包括数据仓库模型设计规范的制定，数据开发规范的制定，如何避免当前较为常见的数据开发混乱、难以运维的情况。

（2）数据建模。数据建模包括进行数据仓库模型构建，并提交评审。

「数据抽取、数据开发、任务监控与运维」

（1）数据抽取。数据抽取包括从数据资源层抽取数据进入ODS层。

（2）数据开发。数据开发包括进行数据任务开发，进行数据清洗、数据计算。

（3）任务监控与运维。任务监控与运维包括监控所有数据任务，对异常和错误任务进行必要的人工干预和处理。

「数据质量校验」

数据质量校验包括对当前发现的数据质量问题进行校验和处理，推动数据治理工作开展和持续优化。

「数据应用支撑」

数据应用支撑包括为当前的数据应用开发提供支撑开发平台。

3.4 第四步：数据应用的详细设计与实现

不管是使用瀑布模型还是敏捷模型，数据应用的设计大体上都可以遵循传统信息化应用设计的过程和理念。数据应用中的数据开发一般在数据库或者数据仓库中完成。数据应用的内容展示可以采用BI分析工具展现，例如可视化大屏或者定制化开发应用。数据应用还可以通过API接口服务提供数据成果，让其他外部应用按需调用。数据应用的开发与传统信息化应用的开发有以下不同之处。

「数据应用关注数据源的内容和质量」

我们在数据应用实施前应该充分了解企业当前的数据源情况，包括数据种类、每种数据的具体属性、数据内容的质量等问题。大部分落地失败的数据应用，都是由数据源的各种问题引起的，比如数据缺失或者数据质量问题。

「复杂的数据开发需要不断调优和迭代」

随着机器学习、深度学习等算法的引入，数据模型的构建手段越来越丰富。但是在通常情况下，最终业务价值的产生是一个复杂的过程，不仅需要数据的支撑，还需要管理的配合。

「数据应用的结果数据的验证工作量占比高」

论证数据结果的正确与否或者评估数据应用的效果，是一项费时、费力的工作。即使相对简单的指标计算，最后也经常会占用全部过程中1/3以上的时间进行正确性验证。甚至很多算法类项目，需要提前构建成果评估模型，并首先获得甲方企业的认可，然后才能开始进行数据开发。

「数据应用的运维难度大」

因为数据中的各种异常情况往往是不可知或者意想不到的，所以数据运维需要有强大的人工保障，以保持任务的运转。

「数据应用的成果需要运营」

数据应用的开发完成只是数据发挥价值的第一步，如何让业务部门理解模型、用好数据才是后续的关键。尤其是在刚刚引入新的数据，且尚未显现业务价值的时候，企业更需要对数据进行深入运营。

3.5 第五步：数据化组织规划

企业数据化应该是在未来一个时期内具有企业战略高度的事情，数据化需要一个具有同等战略高度的组织负责推进。无论是从传统的IT部门转型还是由战略部门或者类似部门介入都是很好的选择。组织是保障数据中台顺利落地的一个核心，也是推动企业数据化进程的人员抓手。

四、总结

张旭老师在书中一个观点我是非常赞同的：“「数据中台是实现企业全面数据化的一个解决方案，是一套支撑企业全面数据化的架构，会成为企业开展全面数据化的基础设施。」”我想，这如果用技术语言总结就是：“「前台聚合，中台解耦，数据融合，业务创新」”。

随着大数据和人工智能的进一步普及，几乎所有的传统企业都在拥抱并推动自身数字化转型。而这作为一本数据中台实践，内容基本上也覆盖了企业数字化实战的方方面面，对方法论、实施路径、平台、数据应用等方面都有阐述，还是有着一定的借鉴价值。

2020.10.21 

这里是在出差，也不忘更新的云祁，努力Max ( •̀ ω •́ )✧！